package com.atguigu.member.controll

import com.atguigu.member.service.EtlOdsDataService
import com.atguigu.util.{BaseControll, HiveUtil}
import org.apache.spark.sql.SparkSession

/**
 * description ：读取 ods 层数据，时行数据清洗，脱敏， 去维度化
 * author      ：剧情再美终是戏 
 * mail        : 13286520398@163.com
 * date        ：Created in 2020/3/6 14:33
 * modified By ：
 * version:    : 1.0
 */
object DwdMemberControll extends BaseControll {

  override def initAppName(appName: String) = super.initAppName(DwdMemberControll.getClass.getName)

  override def doSmething(spark: SparkSession, dt: String, dn: String) = {
    // 开启动态分区和压缩
    HiveUtil.openDynamicPartition(spark)
    HiveUtil.openCompression(spark)

    // etl 数据原始层
    EtlOdsDataService.etlBaseadLog(spark) // 基础广告表数据
    EtlOdsDataService.etlBasweWebsite(spark) // 基础网站表数据
    EtlOdsDataService.etlMember(spark) // 用户数据
    EtlOdsDataService.etlMemberRegtype(spark) // 用户注册数据
    EtlOdsDataService.etlPcentermempayMoney(spark) // 用户支付情况记录
    EtlOdsDataService.etlPcenterMemViplevel(spark) // vip基础数据
  }
}
